Screen Before You Serve: Simulation for Production Customer Experience AI Agents at 140M Scale
先仿真后上线：1.4亿用户规模的生产客户体验AI智能体筛选
🧭 用户仿真 · Agent 部署前筛查 ★ 深度解读
Nubank · Guardrails AI
用假设驱动的工具边界用户仿真对生产CX智能体做部署前筛选，加速迭代并带来显著业务提升
📌 工作参考价值（4 点）
- 把用户仿真作为上线前的标准筛查层：在电商客服、购物助手、推荐对话机器人等场景，可以用 persona-driven 的模拟用户和 mock 工具层开展多轮交互，提前暴露不必要转人工、工具调用失败、回复不当等问题，避免直接让真实用户承担风险。
- 工具边界 mocking 是工程落地的关键：模拟环境不调用生产后端，而是由 persona 代理根据工具 schema 和一致性规则返回合成结果，能保证同一对话内状态一致；这比 mock 整个数据库更轻量，易于在 Agent 与外部 API 交互密集的业务中复用。
- 假设驱动 + 预设筛选标准，而非追求模拟与生产完全一致：每次只验证一个候选改动（如 prompt 修改、工具策略调整、模型替换），用同一套 evaluator 对比 incumbent 和 candidate 的失败率，达标才进入 live A/B；模拟的价值在于指导方向，不要求精确复现生产指标。
- 用模拟快速扫描模型与推理配置：对 open-weight 模型、reasoning effort、量化精度进行大规模仿真实验（如 16k+ 对话），能低成本发现各模型对不同评估维度的敏感差异，再挑选候选进入线上验证，大幅缩短选型周期。